#End-to-End Training

3 篇

Learning Latent Reasoning Traces for Scalar Reward Models End-to-End

面向标量奖励模型的端到端隐式推理学习

🧭 奖励模型 · 隐变量训练 ★ 深度解读

Peking University · Tencent

将推理链视为隐变量，端到端最大化标量RM的数据似然，统一生成与判别目标，提升OOD泛化。

📌 工作参考价值（4 点）

搜索/推荐排序模型中的奖励建模：可借鉴隐变量框架，将生成式推理与标量打分联合优化，避免生成器与判别器目标割裂，提高打分的鲁棒性和分布外泛化能力。
简化训练流程：使用REINFORCE将生成器的优化目标直接对齐到下游标量RM的对数似然，无需外部教师模型或手工设计的奖励（如Kendall’s τ），减少超参数和数据处理开销。
数据清洗trick：利用浅层文本特征训练轻量MLP集成，过滤掉模型易拟合的简单样本（低损失），保留更具泛化价值的困难样本，可迁移到偏好数据或标注数据的质量筛选。
在线RLHF中的长度控制：LatentRM在RLHF中生成更短的回复，同时保持高胜率，有效抑制“奖励过度优化”和长度作弊，这对对话系统或生成式推荐中的对齐训练有借鉴意义。

Training | 2026-07-31 | cs.CL | score 8/10

GEAR：端到端引导式自回归图像生成

🧭 端到端联合训练与表示对齐

北京大学 · 腾讯混元

通过双路读出实现 VQ tokenizer 与 AR 生成器端到端联合训练，加速收敛并提升表示对齐

📌 工作参考价值（4 点）

生成式推荐的 tokenizer 与生成器联合优化：若用 VQ 将物品 ID 映射为离散 token 再自回归生成推荐列表，可借鉴双路读出（硬分支训生成器、软分支用表示对齐损失更新 tokenizer），解决离散索引不可导问题，使 tokenizer 主动适配生成器。
表示对齐损失的设计：将 DINOv2 等预训练特征作为对齐目标，只用于 tokenizer 的软分支梯度回传，生成器本身并不直接接收对齐损失，这种非对称设计可迁移到推荐场景中，让物品 tokenizer 学到更易被生成器预测的分布。
收敛加速：该方法在 ImageNet 上将 gFID 收敛速度提升最高 10 倍，对于推荐模型同样追求快速迭代，联合训练可能显著减少达到目标性能所需的训练步数，尤其适合需要频繁更新的工业级推荐系统。
灵活适配不同量化器：方法兼容 VQVAE、LFQ、IBQ 等多种量化方式，推荐系统中物品 ID 的离散化策略多样，此技术可降低替换量化模块的适配成本。

Training | 2026-06-29 | HF Daily | score 6/10

SproutRAG：注意力引导的树搜索与渐进式嵌入用于长文档RAG

🧭 RAG长文档检索 · 层级树状检索

University of British Columbia · ServiceNow Research

利用学习到的句子间注意力构建二叉分块树，实现无外部LLM调用的多粒度层次检索，平均信息效率提升6.1%

📌 工作参考价值（4 点）

RAG | 2026-06-16 | HF Daily | score 6/10